Dieser Audiobeitrag wird von der Universität Erlangen-Nürnberg präsentiert.

Okay, also lasst uns beginnen. Wir sind schon eine Minute drüber. Herzlichen Dank, dass Sie gekommen sind.

Vielleicht kommen die anderen auch einmal wieder. Für die Informationstheorie wird es schon besser.

Wir waren beim Thema differenzielle Entropie angekommen. Sie wissen, dass ich mit dem Begriff nicht sehr glücklich bin.

Es ist weder eine Entropie noch differenziell. Für kontinuierliche Zufallsvariablen.

Eine kontinuierliche Variabel, zumindest im mathematischen Modell, ist ja nicht abzählbar unendlich viel für jedes Intervall.

Sie wissen vielleicht, dass die reellen Zahlen zwischen 0 und 1 genauso viel sind, als zwischen minus und plus unendlich.

Okay, es klingt ein bisschen überraschend, aber es gibt so einen blöden Beweis.

Mit dieser Konstruktion zeichne ich mir einen Kreis auf und den Zahlenstrahl. Hier ist 0, klar.

Und dann lege ich hier zu jeder Zahl hier eine Gerade.

Und dann kriege ich eine ungeheurbar eindeutige Abbildung von jeder Zahl auf dem Zahlenstrahl zu jedem Punkt auf dem Kreis.

Weil aber der Kreisradius unendlich ist. Das ist Zahlenstrahl aber unendlich, weil sich das auf dem Kreis genauso viele Zahlen setzen wie auf dem ganzen Zahlenstrahl.

Okay, das ist bloß einmal so ein Niemann. Wir haben festgestellt, die Entropie, zumindest das Maximum bei Gleichverteilung, ist der Logorythmus der Zahl der Elemente.

Und wenn die Zahl der Elemente unendlich ist, dann ist auch der Logorythmus unendlich.

Und dann funktioniert das ganze Konzept mit Entropie und so weiter nicht mehr. Und der Trick ist einfach der, man schreibt die Entropie hin,

macht diskretisiert durch die Quantisierung mit dem Quantisierungsintervall Epsilon, spaltet diesen Logorythmus auf in zwei Logorythmen in der Summe.

Und das erste, was da übrig bleibt, das ist im Grenzwert für Epsilon gegen Null genau diese differenzielle Entropie.

Und das zweite ist etwas, was strikt für Epsilon gegen Null nach unendlich geht.

Also was heißt im Logorythmus Epsilon? Ordnung mit dem groß O-Symbol, mit dem Landau-Symbol, wenn Sie das schon mal gesehen haben,

dann würde man da O Log Epsilon schreiben, wie das also nach unendlich geht.

Gut, dann haben wir ein paar so differenzielle Entropien berechnet und dann gefunden, dass wir das immer so schreiben als ein halb Logorythmus,

eine Zahl und dann die Varianz der Zufallsvariablen und diese Zahl da dazwischen, die macht sozusagen die Zufälligkeit aus.

Und da sehen wir, dass von den vier Beispielen, die wir genommen haben, die Gauss verteilt, die Zufallsvariabel, die den höchsten Wert hat hier.

Und dann geht es nach unten und bei diesen Beispielen ist die Gleichverteilung die schwächste und das ist unter der Nebenbedingung gleiche Varianz.

Unter der Nebenbedingung gleicher Maximalwert, ja, dann muss man hier den Maximalwert schreiben, klar.

Irgendwie ein Faktor mal Maximalwert und da sieht man, dass das Dreieck weniger zufällig ist als die Gleichverteilung.

Okay, ja, paar Eigenschaften, eine differenzielle Entropie kann durchaus negativ sein, sie kann sogar minusendlich werden,

dann wenn es eine wirkliche Entropie gibt, weil der Unterschied ist ja quasi unendlich zwischen den beiden.

Und die Interpretation ist einfach so, ich muss immer eine Quantisierung voraussetzen mit dem Quantisierungsintervall,

hier habe ich es Delta genannt, vorher war es Epsilon, vielleicht sollte ich das nochmal konsistent machen.

Und wenn man jetzt hier die Entropie von dieser quantisierten Variablen anschaut, dann kann man die Näherungsweise schreiben als

die Entropie ist die differenzielle Entropie minus dem Logarithmus von Delta und Sie sehen,

dieses Delta ist sehr kleiner als der Logarithmus negativ, dann kommt da was dazu.

Wenn Delta gegen Null geht, dann kommt unendlich dazu.

Aber wenn ich die gleiche Quantisierung nehme, dann ist immer das der gleiche Wert und dann unterscheiden sich die Entropien genau

so wie sich auch die differenziellen Entropie entscheiden.

Und damit lässt die differenzielle Entropie einen Vergleich der Vorhersagbarkeit einer kontinuierlichen Variablen quasi zu.

Natürlich ist das eigentlich ok, das haben wir dann besprochen.

Dann ein paar Eigenschaften noch, wenn ein Gleichanteil dazu kommt, wenn ich die Wahrscheinlichkeitssicht, die Funktion einfach verschiebe,

dann ändert sich die differenzielle Entropie nicht, was sehr sinnvoll ist.

Dann sind wir hier stehen geblieben, wenn ich eine Zufallsvariablen mit dem Faktor A multipliziere, mit dem Verstärkungsfaktor A multipliziere,

dann ändert sich die differenzielle Entropie und zwar kommt der Logarithmus von A-Betrag dazu.

Und den Beweis können wir so schreiben, also das ist mal unsere differenzielle Entropie.

Jetzt haben wir die Abbildung, y ist gleich A mal x, die Zufallsvariable, also groß geschrieben deshalb, Zufallsvariable y ist A mal x.

Und dann kann man zeigen, das kann ich jetzt nicht nachvollziehen in der Kürze der Zeit, das weiß man aus der Mathematik,

dass die Wahrscheinlichkeitsdichte Funktion für die Zufallsvariable y dann Fx von y durch A und vorn durch A betrag wäre.

Vielleicht kann ich es doch zeigen, wenn wir zum Beispiel eine Gleichverteilung annehmen, die zwischen plus und minus eins verteilt ist.

Dann ist natürlich hier die Höhe eins, gar.

So, und jetzt multiplizieren wir die Zahlen mit dem Faktor zwei, dann ist sie natürlich gleich verteilt zwischen minus zwei und plus zwei.

Und nur noch halb so hoch, damit es integral wieder eins ergibt. Ist das verstanden? Dann haben wir also hier ein Viertel.